Dưới thời Việt Nam Cộng hòa, địa bàn thị trấn Chợ Mới hiện nay thuộc xã Long Điền và là nơi đặt quận lỵ quận Chợ Mới.

Sau năm 1975, quận Chợ Mới đổi thành huyện Chợ Mới thuộc tỉnh An Giang. Đồng thời, chính quyền tách một phần diện tích và dân số của xã Long Điền để thành lập thị trấn Chợ Mới, thị trấn huyện lỵ Chợ Mới.

Ngày 19 tháng 12 năm 2019, Bộ Xây dựng ban hành Quyết định 1059/QĐ-BXD về việc công nhận thị trấn Chợ Mới mở rộng (gồm thị trấn Chợ Mới và một phần các xã: Long Điền A, Long Điền B, Kiến Thành và Kiến An) là đô thị loại IV.[1]